تسلط بر Databricks Azure برای مهندسان داده [ویدئو]

سرفصل ها و درس ها

قبل از اینکه تو شروع کنی Before you start

• پیش نیازهای دوره Course Prerequisites

• درباره دوره About the Course

• نحوه دسترسی به مواد و منابع دوره How to access Course Material and Resources

• یادداشت برای دانش آموزان - قبل از شروع Note for Students - Before Start

معرفی Introduction

• مقدمه ای بر مهندسی داده Introduction to Data Engineering

• Apache Spark به پلتفرم مهندسی داده Apache Spark to Data Engineering Platform

• مقدمه ای بر پلتفرم Databricks Introduction to Databricks Platform

شروع شدن Getting Started

• در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

• ایجاد حساب ابری Azure Creating Azure Cloud Account

• مروری بر پورتال لاجورد Azure Portal Overview

• ایجاد سرویس فضای کاری Databricks Creating Databricks Workspace Service

• مقدمه ای بر Databricks Workspace Introduction to Databricks Workspace

• Azure Databricks Platform Architecture Azure Databricks Platform Architecture

کار در Databricks Workspace Working in Databricks Workspace

• در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

• نحوه ایجاد Spark Cluster How to create Spark Cluster

• کار با Databricks Notebook Working with Databricks Notebook

• دستورات جادویی نوت بوک Notebook Magic Commands

• بسته نرم افزاری Databricks Utilities Databricks Utilities Package

کار با Databricks File System - DBFS Working with Databricks File System - DBFS

• در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

• مقدمه ای بر DBFS Introduction to DBFS

• کار با DBFS Root Working with DBFS Root

• نصب ADLS به DBFS Mounting ADLS to DBFS

کار با کاتالوگ یونیتی Working with Unity Catalog

• در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

• مقدمه ای بر کاتالوگ یونیتی Introduction to Unity Catalog

• راه اندازی کاتالوگ Unity Setup Unity Catalog

• تامین کاربر کاتالوگ Unity Unity Catalog User Provisioning

• کار با اشیاء امن Working with Securable Objects

کار با دلتا لیک و جداول دلتا Working with Delta Lake and Delta Tables

• در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

• آشنایی با دریاچه دلتا Introduction to Delta Lake

• ایجاد جدول دلتا Creating Delta Table

• به اشتراک گذاری داده ها برای جدول دلتا خارجی Sharing data for External Delta Table

• خواندن جدول دلتا Reading Delta Table

• عملیات جدول دلتا Delta Table Operations

• سفر در زمان میز دلتا Delta Table Time Travel

• تبدیل پارکت به دلتا Convert Parquet to Delta

• اعتبار سنجی طرحواره جدول دلتا Delta Table Schema Validation

• تکامل طرحواره جدول دلتا Delta Table Schema Evolution

• به داخل جدول دلتا نگاه کنید Look Inside Delta Table

• برنامه های کاربردی و بهینه سازی جدول دلتا Delta Table Utilities and Optimization

کار با Databricks Incremental Ingestion Tools Working with Databricks Incremental Ingestion Tools

• در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

• معماری و نیاز به مصرف تدریجی Architecture and Need for Incremental Ingestion

• استفاده از Copy Into با Manual Schema Evolution Using Copy Into with Manual Schema Evolution

• استفاده از Copy Into با خودکار تکامل طرحواره Using Copy Into with Automatic Schema Evolution

• انتقال جریانی با تکامل طرحواره دستی Streaming Ingestion with Manual Schema Evolution

• انتقال جریانی با تکامل طرحواره خودکار Streaming Ingestion with Automatic Schema Evolution

• مقدمه ای بر Databricks Autoloader Introduction to Databricks Autoloader

• بارگذاری خودکار با تکامل طرحواره خودکار Autoloader with Automatic Schema Evolution

کار با Databricks Delta Live Tables (DLT) Working with Databricks Delta Live Tables (DLT)

• در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

• مقدمه ای بر Databricks DLT Introduction to Databricks DLT

• سناریوی موردی استفاده از DLT را درک کنید Understand DLT Use Case Scenario

• مجموعه داده سناریو DLT را تنظیم کنید Setup DLT Scenario Dataset

• ایجاد بار کاری DLT در SQL Creating DLT Workload in SQL

• ایجاد خط لوله DLT برای حجم کاری شما Creating DLT Pipeline for your Workload

• ایجاد بار کاری DLT در پایتون Creating DLT Workload in Python

پروژه Databricks و ویژگی های اتوماسیون Databricks Project and Automation Features

• در این بخش چه چیزی یاد خواهید گرفت What will you learn in this section

• کار با Databricks Repos Working with Databricks Repos

• کار با Databricks Workflows Working with Databricks Workflows

• کار با Databricks Rest API Working with Databricks Rest API

• کار با Databricks CLI Working with Databricks CLI

پروژه Capstone Capstone Project

• محدوده و پیشینه پروژه Project Scope and Background

• برداشتن نیاز عملیاتی Taking out the operational requirement

• طراحی ذخیره سازی Storage Design

• پیاده سازی امنیت داده ها Implement Data Security

• اجرای سیاست های منابع Implement Resource Policies

• جداسازی داده‌ها Decouple Data Ingestion

• طراحی لایه برنز Design Bronze Layer

• طرح لایه نقره و طلا Design Silver and Gold Layer

• محیط خود را تنظیم کنید Setup your environment

• یک فضای کاری ایجاد کنید Create a workspace

• ایجاد و ذخیره سازی لایه Create and Storage Layer

• راه اندازی کاتالوگ Unity Setup Unity Catalog

• ایجاد کاتالوگ فراداده و مکان های خارجی Create Metadata Catalog and External Locations

• کنترل منبع خود را تنظیم کنید Setup your source control

• کد نویسی را شروع کنید Start Coding

• کد خود را تست کنید Test your code

• بارگذاری داده های تاریخی Load historical data

• داخل لایه برنز بخورید Ingest into bronze layer

• لایه نقره را پردازش کنید Process the silver layer

• مدیریت به روز رسانی های متعدد Handling multiple updates

• پیاده سازی لایه طلا Implementing Gold Layer

• ایجاد یک اسکریپت اجرا Creating a run script

• آماده شدن برای تست یکپارچه سازی Preparing for Integration testing

• ایجاد تولید کننده داده های آزمایشی Creating Test Data Producer

• ایجاد تست یکپارچه سازی برای حالت دسته ای Creating Integration Test for Batch mode

• ایجاد تست یکپارچه سازی برای حالت جریان Creating Integration Test for Stream mode

• اجرای خط لوله CI CD Implementing CI CD Pipeline

• توسعه خط لوله Develop Build Pipeline

• توسعه خط لوله انتشار Develop Release Pipeline

• ایجاد اسکریپت Databricks CLI Creating Databricks CLI Script

کلمه پایانی Final Word

• تبریک می گویم Congratulations